对于目标函数
对$\beta$求偏导，并令导数为0，可以得到OLS估计。
所以可以把拟合值记为
又记$H=X(X’X)^{-1}X’$为帽子矩阵，则残差可以表示为
$\sigma^2$的无偏估计
利用帽子矩阵的幂等性质($H=H^2$)，有
到这里就知道了每个残差之间不一定是同方差的，甚至可能存在相关，由此可以结合$E(\sum e_i^2)=\sum var(e_i)$找出$\sigma^2$的无偏估计。
协方差矩阵
一些性质
如果考虑正规方程组而不是从矩阵的角度求导，令导数为0的时候可以仿照一元回归导出以下性质：
$\sum e_i=0$
残差$e_i$和各个变量$X_i$都不相关，即$\sum e_i X_i=0$
残差$e_i$和拟合值$\hat{Y}_i$不相关，即$\sum e_i\hat{Y}_i=0$，展开$\hat{Y}_i=\hat{\beta_0}+\hat{\beta_1} X_1+…+ \hat{\beta_p} X_p$易得
$R^2$
判定系数$R^2=1-\frac{ESS}{TSS}=1-\frac{\sum e_i^2}{\sum y_i^2}$，这里用小写的$y_i$表示离差$y_i=Y_i-\bar{Y}$。
可以知道，如果考虑分子分母的自由度，就可以得到更加稳健可靠的调整$R^2=1-\frac{\sum e_i^2/(n-k)}{\sum y_i^2/(n-1)}$，由此可以用$R^2$表示调整$R^2$
$R^2$和F检验统计量的关系
F检验是检验回归方程的整体显著性的，其构造的统计量是（自由度平均）解释平方和与（自由度平均）残差平方和的比值，和$R^2$的关系如下：
$R^2$的比较
不管用的是调整的还没没有调整的$R^2$，都必须注意样本容量和因变量（被解释变量）都必须相同，而解释变量可以采取任何形式，因为$R^2$度量着因变量的变异被各个解释变量解释的部分（占$Y$总变异的比例）。
